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(57) Abstract 



Described is a method 
and device for storing, 
searching for and playing 
back audiovisual data and 
date tUrs , u s ing n multime d ia 



VIDEO I/O 



multiplexing and multimedia 
control protocol with a control 
unit for the multimedia data 
flow in a separate virtual 
control channel as specified 
in ITU-T H.245, with a data 
multiplexer and demultiplexer 
as specified in ITU-T KL223, 
with a video-compression 
and encoding device and 
a video-decompression and 
decoding device as specified 
in e.g. ITU-T K263, with an 
audio/voice-compression and 
audio/voice-decompression 
device using at least 
one high-compression 
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voice^oropreMion algorittan~and with a control unit for the multimedia storage unit in a separate logic control channel. 
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Beaehreihunoi 

Verfahren und Einrichtung zum Speichern, Suchen und Abspielen 
von audiovisuellen Inf ormationen und Datenfiles 

Die Erfindung betrifft ein Verfahren und eine Einrichtung rum 
Speichern, Suchen und Abspielen von audiovisuellen Informa- 
tionen und Datenfiles. Insbesondere betrifft sie sdmit ein 
Multimedia- Speichergerat. 

Die Speicherung und das Abspielen von Mult imediainf ormationen 
(Video, Audio, P aten, Steuer-Inf o rmati^ 

Speichermedien (z.B. CD-ROM, optisch beschreibbare Festplatte, 
m agnetische Fest platte) ist eine der wichtigsten Funktionen in 
Mul timedia-Sys temen . - — -- r — — - - 



. Obwphl _.die_Kapaait At _der _ speicherbaren.-J^orjnationen__auf_digi.-- 
talen Speichermedien statig wachst, bereitet die grofie Daten- 
menge von Multimedia- Inf ormationen immer noch ein massives 
Speicherproblem. 



Eine erf indungsgemaSe Anordnung erm6glicht gegenuber den bekan- 
nten Verfahren eine wesentlich hohere Kompression, ein effek- 
tiveres Multiplexing und eine effektivere Steuerung von multi- 
medialen Datenstromen (s. Tabelle l) . 



Dagegen erlaubt das standardisierte Verfahren ISO/IEC 11172 - 
auch als MPEG-1 bekannt - mit 1,5 Mbits/s die Speicherung von 
ungefahr 1 Stunde audiovisuelle Information auf CD-ROM. Auch 
andere, nicht standardisierte audiovisuelle Kompress ions ver- 
fahren, die in PC-Anwendungen yerbreitet sind, ermoglichen bei 
schlechterer Bild- und Ton-Qualitat ungefahr l Stunde 
gespeichertes audiovisuelles Programm. 
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MMium: 



Diskette: 



CD-ROM: 



Beisptel Datei: 



-PestptattB— 



/Minute 



BOiSJMOl 

Festptatte: 



Speicher 
Votumen 
(MByte): 



1.4 



660 



10 



540~ 



AbspMdauerboi32 
kbWs 

QCIF (180x144) 
Bildauflosung bei 
H.263; 
G.723; 

G4kbitfe Audio 



etwa 6 Mnuiten 



etwa 46 Stunden 



etwa 41 fcfinuton 



etwa 24a kByte/min 



etwa 38 Stunden 



Abspieldauerbei128 
kbitfa 

CIF (360x288) 
Bildauflosung bei 
H.263; 

G.723; G.728; 
G.729Audk> 



etwa 11 Stunden 



etwa 10AAnuten 



etwa 4 Mbytafrnin- 



etwa 9 Stunden 



Abspieldauerbai 
512kbWs 

ITU-R 601 (720 x 576) 
Bildauflosung bei 
H.263; 

G.728 V G.729; 

G.722 Audio 



etwa 2,5 Stunden 



etwa^MbyWmirv 



etwa 2,25 Stunden 



t i sp±eI^^ur~Ab sp^el dauezr von^auf - ITU 11.324 
bas ierenden mul timedialen Speicberlosungen 



CabeXX* 



Die QualitSt des MPEG-1 Videos und der MPEG-1 Audio ist in der 
Regel zwar besser als die in der Tabelle 1 aufgelistete Ver- 

fahren* es- gibt jedoch zahlreiche Anwendungen, wo eine vermin- 

derte Video- und Audio -Quali tat vollkoramend ausreicht (z.B. 
Multimedia - Mail, Video-Bilder mit Kopf und Schulter, 
Multimedia- Lexika) . 



trre— B rfindmig ui ach t sich-bedarf s weise - a bhangig von den ein- 
zelnen Realisierungsf ormen und Besonderheiten - die folgenden 
Inf ormationstechnologie- und/oder Kommunikationstechnologie- 
Standards zunutze : 



• Die in der ITU-T gegenwartige Normierung von Sprachkodierern 
mit sehr niedriger Bitraten fur das Bildfernsprechen (ITU-T 
G.723) im offentlichen Telef onw&hlnetz (GSTN) ftthrt zu 
quali-tativ guten Sprachkodierern (annahernd der Qualitat 
der CCITT G.726 Empfehlung) mit Ubertragungsgeschwindigkeit 
von 5,3-6,3 kbit/s. Auch der ITU-T G . 7 2 9 - Sprachkoder 
ermoglicht eine digitale Sprachubertragung mit 8 kbit/s 
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Geschwindigkeit . In der Zukunft wird auch ein 4 kbit/s Coder 
standard! siert (ITU-T G.4kbit/s) . Diese Codecs sind derzeit 
die leisungsf Ahigsten Sprachcodecs . 

• Die in der gegenw&rtige ITU-T-Normierung von Bewegtbild- 

kodierern mit sehr niedriger Bitraten z.B. fur das Bildf ern- 
sprechen ira 6ffentlichen Telef onwShlnetz (ITU-T H.263) fuhrt 
zu qualitativ guten Bewegtbildkodierern (QCIF Aufldsung 180 
x 144 und weniger) mit der minimal ben6tigten 
Ubertragungsge-schwindigkeit von 8-24 kbit/s (bzw. hoher) , 
die eine ge-sicherte Ubertragungsart (z.B. mit ITU-T H.223) 
erfordera. Eine Erh6hung der Bildauf 16sung fiber die im 
Standard defi-nierten Werte z.B. auf CIF (360 x 288) Oder 

ITU-T 6 0 1 , ( _7.2,Q^x __57_6,)^,erl axabt_die Ubert ragung__von_„„: 

Bewegtbilder mit Fernsehen- bzw. Bewegtbilder gem&Sr der 

— — Aufldsiihq "der digitalftf Xi-Wcii r>-r*n>r™ t ttj-R grn 



• Die gegenw&rtige Normierung in der ITU-T von Multiplexing 
von audiovisuellen Datenarten mit sehr niedriger Bitraten 

z-B.- fur das Bildf ernsprechen imdffent lichen - 

Telef onwShlnetzen mit Ubertragungsgeschwindigkeit von 9,6-32 
kbit/s (und hoher) , die eine gesi chert e iteertragungsart 
(ITU-T. H.223 gemafi) erm6glicht. Dieses Prinzip kann auch fur 
Speicher-systeme angewendet werden. 

l_D±e ggqenwarfcige^ITP-T-N^ (ITU-T H.245) bezuglir^ ■■ 

dem Steuern von audiovisuellen Datenarten mit sehr niedriger 
Bit-raten r beispielsweise fur das Bildf ernsprechen im 
6f fentli-chen Telef onwShlnetzen, die eine flexible Zuordnung 
von bis zu 15 unabhSngigen NutzkanSlen, jeweils mit Audio- 
/Sprache-, Video- oder Dateninf ormation ermoglicht. Dieses 
Prinzip kann auch fur Speichersysteme angewendet werden. 
Jeder Kanal verfugt uber eine flexible Bandbreite, die von 
Anwendung zu Anwendung im Laufe der Speicher- Anwendung 
beliebig variieren kann. 
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Figur 1 zeigt das Blockdiagramm eines Ausfuhrungsbeispiels ei- 
nes erfindungsgemafien Mul timedia-Speichersys terns . 

Ein Multimediales-Speichersystem besteht aus mehreren Funk- 
tionseinheiten. Die Video-I/O-Gerate (Input /Output) enthalten 
z.B. eine Kamera, einen Bildschirm und eine Bildaufbereitungs- 
einheit fur das Einblenden von mehreren Bildern (" split - 
screen") . In einer gunstigen Ausgestaltung k&nnen alle Gerate 
tatsachlich angeschlossen werden. Die Audio/Sprach-I/O-Gerate 
schliefcen das Mikrofon (oder mehrere) , den Lautsprecher (Oder 
mehrere) , und die Audio/Sprachaufbereitungs-einheit < Z - B - fur 
Echounterdruckung) ein. Auch hier konnen . in _ einer _gjfl^tigen_ 



AuBgestaltung alle Gerate tatsachlich angeschlossen sein. Die 
-SystemsteuerAang^teuerJ^das^Gesamt^sjtem, _d.h JL± _sie sorgt fur 
die Multimedia- Steuerung fur den Multimedia^Mult±plexer-und--fur 
die jceamra m,ii i--iTnort-i a - s y s r. ftin-stei i pn in q . Per Video- Codec sorgt 
fur die digitale Kompression und Dekompression des Videosignals. 
beim Video-Enkoder bzw. Video -Dekoder. Der Audio/Sprach-Codec 
sorgt fur die digitale Kompression/Dekompression des Au- 
dio/Sprachsignals. Eine wahlweise- Verzogerung des Sprachsignals 
kann vorgenommen werden urn die Lippen- synchronisation zwischen 
Video und Sprache zu erreichen. Der Multiplexer/Demultiplexer 
legt beim multimedialen Abspeichem die Audio-, Video- und 
Datensignale in einem gemeinsamen Datenstrom zusammen, bzw. 
trennt beim Abruf aus der multimedialen Datenbank den gemeinsa- 

_^n-multi.meAialjen^PJLtens.tr.om_in_g g Audio- , video- und 

Datensignale auf . 

Die System- Steuerung besteht aus der Steuerung des Multimedia- 
Multiplexing (nach ITU-T H.245), und des gesamt Multimedia- 
Spechersystems (z.B. Laden/Beenden des Multimedia Speicher 
Programms im Rechner) . ' 

Bei dem Multimedia-Multiplexing nach ITU-T H.245 kann man bis 
zu 15 Nutz-Kanale eroffnen und benutzen. Vor dem Abspeichern 
der Nutzkanale erfolgt nach H.245 eine Aushandlung und Ein- 
stellung der Benutzerparameter . Dabei signalisiert der Daten- 
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Speicher die breiteste Mdglichkeit der Speicherung von multi- 
medialen Inf ormationen, und die speichernde Anwendung ent- 
scheidet letztendlich und wahlt aus, welche multimedialen 
Kanale er6ffnet werden sollen und wie die multimediale Spei- 
cherung in den Daten-Speicher erf ol gen soli. 

Bei der Speicherung einer audiovisueller Nachricht ("Voice- 
Mail") kSnnten beispielsweise ein Kanal fur Video, ein Kanal 
fur Sprache, ein Datenkanal fur die "Voice-Mail" Steuerung 
(Addressierung, Zeit des "Voice-Mails" Ablegens u.s.w.) und das 
obligatorische ITU-T H.245 Multimedia -Steuerkanal er6ffnet 
werden . ' 

_Bei der Speicherung eines audiovisuellen deutsch-f ranzosischen 
Sprachkurses k6nnten beispielsweise ein Kanal fur Video, je ein 
Kanal fur Ton in deutscher und in franzfisiBrhpr S praehe; '" 

Datenkanal. Kanal. fur den deut s chen. und fur den f ranzdsischen .'. 

Begleit-Text, ein Daten-Kanal fur die Sprachkurs-Programm- 
Steuerung, und ders obligatorische ITU-T H.245 Multimedia- 

. Steuerkanal erdff net werden. 

Bei der Speicherung einer Sportf ilm-Sequenz (z.B. PuEball) 
kdnnte beispielsweise zunachst ein Kanal dem Ton und ein Kanal 
dem Bild zugeornet werden. Nach einein Tor z.B. konnten z.B. 
kur2fristi £ r funf Kanale fur Video zugeordnet werden. Jedem 

Kanal wird eine a ndere Kameraeinstellung zu gewie sen. Dad urch 

k6nnte der Anwender be im Abspielen dynamisch eine beliebige 
Kameraeinstellung (z.B. von oben, aus der Torpespektive, von 
hinten, von der Seite) auswahlen. 

Auch vor dem Abspielen der Nutzkanale erfolgt ein Aushandeln 
und Einstellen der Benutzerparameter nach ITU-T H.245. Dabei 
signalisiert der Daten-Speicher die breitest mdgliche Speiche- 
rung von multimedialen Inf ormationen. Auch hier trifft letzt- 
endlich die abspielende Anwendung (d.h. das Multimedia Spei- 
chersystem) die Auswahl der zu er6ffnenden Multimedia- Kanale 
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und legt fest, wie das raultimediale Abspielen aus dem Daten- 
Speicher erf olgen soil . 

Das Multimedia-Multiplexing ist in Figur 2 dargestellt. Die 
unterste Schicht PS ist die physikalische Schicht. Diese wird 
im Rechner-Bus. der Schnittstelle zwischen dem externen Digi- 
tal-Speicher (CD-ROM, Festplatte usw.) und dem Multimedia- 
Multiplexing, realisiert. Der Multiplexer (ahnlich ITU-T H.223, 
mit dem Unterschied, dafi multimediale Daten nicht fur ein 
analoges Telefonnetz, sondem fur den BUS eines Rechners be- 
reitgestellt werden) verfugt uber zwei Schicht en: Eine sog. 
Adaptations - Schicht ( "Adaptation Layer" ) AL. .und eine Multiplex- 
Schicht ("Multiplex Layer") ML. Die Adaptations -Schicht AL ist 
zustandig-fur— die- Anpassung <ier— diversen Inf orma t ions s t rorae - 
die von den verschieden Media- Quel leri (Video, Audio/Sprache^" ^ 
-B aton) stammen an di e Multiplex S chi c ht ML. In Figur 2 sind 

vier Adaptations - Schichten-AL- spezif iert r eine- Daten- Adapt a 

tionsschicht ("Data Adaptation Layer") DAL, eine Audio/Sprach- 
Adaptat ions -Schicht ("Audio Adaptation Layer") AuAL, eine Video 
Adaptations Schicht ("Video Adaptation Layer") VAL und eine 
Steuerungs-Adaptations-Schicht ("Control Adaptation Layer) CAL 
zur Ubertragung von Multimedia-Steuerdaten. Jede Adaptations 
Schicht bedient sich in der Multiplex -Schicht ML den Diensten 
einer sog. Konvergenzunterschicht ("Convergence Sublayer") CS 
und einer sog. Segmentierungs/Zusammensetungs-Unterschicht 
-4«iSegmeat^tion-and-Reassembly— Sublayer^-)— SARS . Di e Konve rgenz- 
unterschicht CS sorgt fur Fehlererkennung und fur die Fehler- 
korrektur. Die Segmentierungs/Zusamtnensetungs-Unterschicht SARS 
sorgt fur die Fregmentierung der DatenstrSme in sog. SAR-SDUs 
("SDU - Service Data Unit"), zugeschnitten fur die Multiplex - 
Schicht ML. 

Uber der Video-Adaptionsschicht AL befindet sich der Video- 
Codec (Video) der die Video- Inf ormationen codiert bzw. 
decodiert. Uber der Audio-Adaptionsschicht AL befindet sich der 
Audio-Codec (Audio) der die Audio- Inf ormationen codiert bzw. 
decodiert. Uber der Daten-Adaptionsschicht AL (Daten) befinden 
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sich die fur die Datenanwendung notwendigen Datenprotokolle . 
Bin spezieller Datenkanal ist den ITU-T H. 2 45 -Multimedia - 
Steuerungs-Protokollen zugeordnet. 

Die Adapt ions schicht en AL zeigen beim Speichern tJbertragungs- 
fehler an, es werden Fehlerkorrekturen veranlaSt. Ferner 
f ragmen tier en die Adapt ionsschicht AL die Inf ormationsstrSme in 
kleinere Einheiten. Die Multiplex -Schicht ML sorgt filr das 
Multiplexen der verschieden Inf ormationstypen, die von den 
Adapt ionsschichten AL vorbereitet werden. 

Die Multiplex- Schicht ML sorgt beim Zugreif en/Abspielen fiir das 
Demultiplexing des angekommenen Datenstromes in Datenf ragmente 
d e r vers chiedenen I nf orma t ions stypen, die an di e jeweils_ zu- 
standige Adaptionsschicht AL weitergeleitet werden ; Die Adap- 
_ — _ — t ionsschichten AL set ze n aus den DatenfragmmV^n oj n 7^ 1 nen 

Datens trome zusaramen , die an die Anwendungen — (Sprache /Audio - 

Video, Daten , Multimedia Steuerung) weitergeleitet werden. 
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Patttntanapruclie 

1. Verfahren zum Speichern, Suchen und Abspielen von hochkom- 
primierten audiovisuellen Inf ormationen und Datenfiles eines 
Multimedia- Speichergerates unter Verwendung eines Multimedia- 
Multiplexing- und Multimedia-Steuerungs-Protokolls mit den 
folgenden Verf ahrensschritten: 

a) Multimedia- Inf ormationstr&me werden in einem ersten sepa- 
raten virtuellen Steuerkanal gemSS ITU-T H.245 zum Erm6glichen 
von f lexibler Zuordnung und gleichzeitiger Behandlung von 
mehreren Audio/Sprach, Video und Datenkanalen fur Multimedia 
Kommunikation gesteuert; 

b) Video- und/oder Audio/Sprach- und/oder Dateninf ormationen 
und/oder Steuerinf ormation werden zum Ermoglichen f lexibler 
Zuordnung von Kanalkapazit&ten entsprechend der momentanen 
Bedurf nisse der beim g en annten Steuern zugftordnfttfin Kanfllf* narh 
ITU-T.JL-223. gemultiplext bzw— deraultiplext; 

c) Videosignale werden - vorzugsweise gem&S ITU-T H.263 - 
komprimiert und kodiert, bzw. dekomprimiert und dekodiert; 

d) die. Audio-- bzw. -Sprachsignale werden unter Verwendung eines 
hochkomprimierenden Sprachkotnpressionsalgorithraus komprimiert 
bzw . dekomprimiert ; 

e) das Multimedia- SpeichergerSt wird uber einen zweiten 
separaten virtuellen Steuerkanal gesteuert. 



2. Einrichtu ng zum Speichern, Su chen und A bspiel en von hoch- 
komprimierten audiovisuellen Inf ormationen und Datenfiles eines 
Multimedia-Speichergerates unter Verwendung eines Multimedia- 
Multiplexing- und Multimedia- Steuerungs - Protokolls , 

- mit einer Inf ormationsstromsteuerung zum Steuern der Multi- 
media- Inf orma-t ions trome in einem separaten virtuellen Steuer- 
kanal gemS£ ITU-T H.245, um eine flexible Zuordnung und die 
gleichzeitige Behandlung mehrerer Audio/Sprach-, Video- und 
Datenkanale fur Multimedia Kommunikation zu ermdglichen; 
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- mit einem Multiplexer und Demultiplexer zutn Multiplexen bzw. 
Deraultiplexen von video- und/oder Audio/Sprach- und/oder Daten 
informationen und/oder Steuerinf ormation nach ITU-T H.223, urn 
eine flexible Zuordnung von Kanalkapazitaten entsprechend der 
moment anen Bedurfnisse der durch die genannte Steuerung 
zugeordneten Kanale zu ermoglichen; 

- mit einer Videokompressions- und Kodierungsvorrichtung zum 
Komprimieren und Kodieren und mit einer Video-Dekompressions- 
und Dekodierungsvorrichtung zum Dekomprimieren und Dekodieren 
von Videosignalen vorzugsweise gemaS ITD-T H.263; 

- mit ei ner ^Audio/Sprachkompressions- und Audio/Sprachdekom- 
pressionsvorric ^ ltun Sr zum Komprimieren bzw. dekomprimieren von 
Audio- bzw. Sprachsignalen mit einem hochkomprimierenden 

_.Sprachkompressionsalgorithmus ; und 

" m±t einer Geratesteuerung zum Steuern des Multimedia-Spei- - 
chergerats uber einen we ite r e ri s ep aratm «rhM •st-wwTWnii " 

3-.- -Einrichtung nach Anspruch 2 , dadurch gekennzeichnet, da£--- 
der zweite separate virtuelle Steuerkanal ein zusatzlich erdff- 
-joete r v i rtue! ler D a t enkanal- gemal^ITO^T— H^-24S-ist^ 

4. Einrichtung nach einem der Anspriiche 2 und 3, dadurch ge- 
kennzeichnet, daE die Audio/Sprachkompressions- und Audio/ 
Sprachdekompressionsvorrichtung mindestens mit einem Sprach- 
kc ^? e . ssi ? ns ^ 1 9 orithmus nach ITU-T G. 723.1, ITU-T G.729, ITU-T 
G.728, ITU-T G.722 . ISO/IEC 1 1172-3 oder n ach ITU-T q.*KM,fr/ff"". 
betreibbar ist . 

5. Einrichtung nach einem der Anspriiche 2 bis 4, dadurch ge- 
kennzeichnet, da£ das Multimedia-Speichergerat durch einen 
Computer mit magnetischem Festplattenspeicher realisiert ist. 

6. Einrichtung nach einem der Anspriiche 2 bis 4, dadurch ge- 
kennzeichnet, daS das Multimedia-Speichergerat ein Computer mit 
einer nur lesenden optischen Speichereinrichtung ist. 
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7. Einrichtung nach einem der Anspriiche 2 bis 4, dadurch ge- 
kenxxzeichnet, dafi das Multimedia- Speicherger&t ein Computer mit 
einer sctireibenden und lesenden optischen Speichereinrichtung 
ist . 
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